Multimodal Video-to-Music Recommendation via Semantic Retrieval and Temporal Reranking
多模态视频到音乐推荐：基于语义检索与时序重排序的两阶段框架
🧭 视频到音乐推荐 · 多模态检索与重排
Graduate School of Culture Technology, KAIST · Gaudio Lab, Inc
提出语义检索与时序重排序两阶段框架，在视频到音乐推荐中同时建模全局语义和细粒度时序对应
📌 工作参考价值（4 点）
- 多模态融合思路可迁移：联合视觉、音频、文本信号构建联合表征，电商场景中可类似融合商品图像、描述文本、评论音频等多模态信息，提升语义匹配质量
- 粗召回+细排两阶段架构效率与效果平衡：粗召回用全局嵌入快速筛选候选集，细排用时序注意力捕捉序列对齐，适合电商推荐中用户行为序列与候选项序列的精细匹配
- 时序重排机制捕获动态对应：广告推荐中可借鉴对用户交互序列与广告创意序列进行细粒度时序对齐，提升点击率预估的时序合理性
- 人类偏好评估补充离线指标：推荐系统除了离线A/B，可引入人类偏好对比，尤其在生成式推荐结果质量评估上更贴近实际体验